查看原文
其他

实测在Mac上使用Ollama与AI对话的过程 - 模型选择、安装、集成使用记,从Mixtral8x7b到Yi-34B-Chat

思辨view kate人不错 2024-05-19

超火AI模型:Mistral AI的Mixtral-8x7B

最近,Mistral AI发布了一款名为mixtral-8x7b的新模型。这个模型很火,据lmsys发布的排行榜,和GPT3.5能力相当。

Dolphin-2.5-Mixtral-8x7B的推出

Eric Hartford在mixtral-8x7b基础上微调推出了dolphin-2.5-mixtral-8x7b,这个模型非常聪明,擅长编程,且不受限制。它将响应所有用户提示,而不是判断。它不会将道德强加给你,并且会显示可用的所有信息。

在Mac上安装Dolphin-2.5-Mixtral-8x7B

以下以Mac电脑为例,演示通过Ollama来安装dolphin-2.5-mixtral-8x7b。
Ollama建议安装电脑需要48G+内存。
Eric Hartford建议32G以上。
Ollama github地址:
https://github.com/jmorganca/ollama
安装模型很简单
  • 下载Ollama安装包并安装打开。
  • 终端运行ollama run <你选择的模型>。
  • 安装好后,就可以直接对话了。
Ollama还链接了很多UI和插件,使用起来很方便。
Ollama关于这个模型的地址:
https://ollama.ai/library/dolphin-mixtral/tags

运行中的挑战与解决方案

我的电脑是M1 max 32G,一开始我运行8x7b-v2.5-q4_K_M,
ollama run dolphin-mixtral:8x7b-v2.5-q4_K_M
报错,显示:Error: llama runner process has terminated
我输入:cat ~/.ollama/logs/server.log,将log发给GPT,原来是内存不足。
后我该为运行 ollama run dolphin-mixtral:8x7b-v2.5-q3_K_M
这次运行成功了。

客户端Ollamac的体验

我在ollama的github仓库里找到了一个客户端Ollamac
github地址:https://github.com/kevinhermawan/Ollamac
下载安装后,就可以选择模型,直接对话了。
这里,模型出现了幻觉。
我还测了英文写邮件,回答问题,英文下回答还行,中文试了下,会生成奇怪的内容。
要不是我用过together ai网上的mixtral:8x7b,可能要对mixtral:8x7b失望,我觉得可能是我下载的模型太小了,精度不够。
模型在运行过程中,约占我电脑20G的内存。

Yi-34B-Chat的发现与体验

回到文章开头,不知道大家是否注意到,我特意标出了Yi-34B-Chat,这个评分也很高,而且据之前的媒体消息,这款对中文支持比较好,01.ai的公众号发布了下图。
此外,01.ai公众号引用李立鸿这段话:
我很好奇,于是下载安装了Yi-34B-Chat。
Ollama地址:https://www.ollama.ai/library/yi/tags
生成速度如视频,和电脑配置有很大关系,此外,如果输入文本较长,它的反应就会慢些。
初步体验,Yi-34B-Chat推理、写作中文输出能力都不错,比我用过的Grok、Mixtral-8x7B-Instruct-v0.1要好很多。Yi-34B还有一个能处理高达40万汉字的超长文本版本,支持200K的超长上下文,为那些需要在更长的上下文中进行微调的开发者打开了新的大门。
前文提到的Eric Hartford使用Yi-34B-200k来训练其他模型。

集成应用与快捷操作
我还将Ollama集成到Raycast,设定快捷键就可以快速激发了。
插件请在Raycast商店里搜索。
Ollamac里每开一个新对话,是可以选择不同模型的。

探索更多模型

我还下载体验了ollama run llava:13b,效果只能说还行。
地址:
https://ollama.ai/library/llava/tags
在我尝试了从Mixtral-8x7b到Yi-34B-ChatAI模型之后,深刻感受到了AI技术的强大与多样性。
我建议Mac用户试试Ollama平台,不仅可以本地运行多种模型,还能根据需要对模型进行个性化微调,以适应特定任务。
让我们一起期待着AI未来会带给我们的更多惊喜。

推荐阅读:与AI相关的创新体验

掌握微软Phi-2模型:从深入解析到实际安装流程

Gemini Pro API的两个应用实例 | 定制祝福信息、在VS Code里使用CodeGPT

Krea AI让我速成绘画高手——涂鸦实时生图

深度使用GPTs的分享——授人以鱼不如授人以渔

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存